Được nuôi dưỡng trong hậu cung

Năm 1127, quân Kim hạ được kinh thành Biện Kinh[7], tiêu diệt Bắc Tống. Tất cả hoàng thân triều Tống, từ Thượng hoàng Huy Tông, hoàng đế Khâm Tông, hoàng hậu, thái hậu, thái tử, phi tần, thân vương, công chúa... mấy nghìn người bị giải về phương bắc[8]. Chỉ có hoàng tử thứ chín là Khang vương Triệu Cấu trốn thoát ra ngoài. Do đó các đại thần lập ông ta lên ngôi vua ở Nam Kinh Ứng Thiên phủ[9], lập ra triều đại Nam Tống.

Sau nhiều lần lẩn tránh dự truy đuổi của người Kim, Cao Tông mắc phải bệnh liệt dương. Năm 1129, con trai duy nhất của Cao Tông là Nguyên Ý thái tử Triệu Phu qua đời[10], Cao Tông sau đó mắc bệnh liệt dương khiến cho hậu cung không thể nào sinh nở được nữa, buộc Cao Tông phải chọn hoàng tự thuộc nhánh khác. Về sau tể tướng Phạm Tông Doãn xin Cao Tông noi theo việc Từ Thánh hoàng hậu đời Tống Nhân Tông, chọn trẻ trong tông thất vào làm hoàng tự để dự phòng về sau. Do các con cháu tông thất thuộc dòng dõi Thái Tông đều đã bị quân Kim bắt và giải về nước Kim, hi vọng duy nhất của Cao Tông trong tông thất là người em trai thứ mười tám là Tín vương Triệu Trăn mới trốn về từ Kim không được bao lâu thì thua trận và mất tích bật vô âm tín nên buộc Cao Tông đành phải hạ chiếu tuyển con cháu tông thất thuộc dòng dõi Thái Tổ vào nuôi trong cung. Tháng 6 năm 1132, nhà vua hạ chiếu tuyển 10 đứa trẻ tên có chữ Bá, hiệu là Tông Tử, trong đó có Bá Tông, vào cung nuôi dưỡng. Các cậu bé được phân phát cho các hậu phi dạy dỗ, trong đó người nuôi dưỡng Bá Tông là Trương Hiền phi.

Mùa xuân năm 1133, ông được phong làm Hoa châu[11] phòng ngự sứ, ban danh là Viện, mấy tháng sau dời làm Quý châu phòng ngự sứ. Mùa hạ năm 1135, tể tướng Triệu Đỉnh đề nghị lập thư viện ở trong cung để giúp đỡ việc học của các vị công tử này, Cao Tông đồng ý, đặt tên nơi đó là Tư Thiện đường[5]. Triệu Viện ở trong cung tỏ ra là cần mẫn, người ham học hỏi, biết giữ lễ và thông minh hơn người. Cùng năm 1135, ông được phong làm Báo Khánh quân tiết độ sứ, tước Kiến Quốc công[5]. Tháng 7 năm đó, lấy Huy Du các đãi chế Phạm Trùng và Khởi cư lang Chu Chấn làm sư phó cho Triệu Viện. Cao Tông mệnh Triệu Viện khi gặp hai người này phải dùng lễ bái. Về sau Trương Hiền phi qua đời, Triệu Viện sang chỗ Ngô quý phi, tức là Ngô hoàng hậu về sau.

Quận vương – Hoàng tử

Sau đó từ mười trẻ được chọn ban đầu, Cao Tông chọn ra hai trẻ ưu tú nhất là Triệu Viện và một người khác tên là Triệu Bá Cửu, tên mới là Triệu Cứ (1136 - 1188) và dự định trong hai chọn lấy một. Cao Tông muốn xem xét tính tình của hai vị công tử, bèn triệu vào cung. Lúc đó có một con mèo đến ngồi cạnh án. Viện vẫn thản nhiên đứng đó, còn Cứ thì bước tới đá con mèo. Do đó Cao Tông cho Cứ là nghiêm khắc quá khó gánh vác việc lớn, đã muốn chọn Viện. Vào đầu năm 1142, ông được phong Kiểm giáo thái bảo, Phổ An quận vương[12]. Tháng 4 cùng năm được ra ở phủ đệ bên ngoài cung.

Tháng 9 năm 1143, cha Triệu Viện là Triệu Tử Xưng mất ở Tú châu. Các quan lại trong triều đình cho rằng Triệu Viện cần phải làm tròn đạo hiếu với cha ruột, nên ông phải xin giải trừ quan chức và về chịu tang. Ba năm sau, mùa hạ năm 1146, Triệu Viện hết tang, được phục lại chức cũ[5]. Ngày 25 tháng 7 năm 1147, ông được đổi làm Thường Đức quân tiết độ sứ. Năm 1154, giặc cướp nổi lên ở Cù châu, Tần Cối tự ý sai người đánh dẹp mà không báo với Cao Tông. Triệu Viện biết chuyện vào tâu rõ, Cao Tông tức giận triệu Cối vào chất vấn. Về sau Cối mới biết Triệu Viện tâu việc này lên Cao Tông nên sinh ra thù ghét ông. Sau này Triệu Cừ cũng được phong làm Ân Bình quận vương. Nguyên trước kia Cao Tông chọn Triệu Viện, nhưng thực ra lại yêu quý Triệu Cừ vì thế lại do dự, bèn ban hai mươi cung nữ, phân phát về hai phủ Phổ An, Ân Bình. Theo lời khuyên của thầy là Sử Hạo, Triệu Viện bố trí 10 cô gái làm các công việc trong phủ, nhưng không bao giờ ngó ngàng đến. Một năm sau nhà vua triệu 20 cô gái vào kiểm tra, thì thấy 10 cô ở phủ Phổ An đều còn trinh nữ, trái với 10 cô kia. Do vậy ông quyết định chọn Viện. Nhưng Tần Cối lại ra sức bảo Cao Tông nên chờ hậu cung có người mang thai, nên việc lập tự bị gác lại.

Năm 1155, Tần Cối bệnh nặng rồi chết[13], bọn tay chân bàn mưu ép Cao Tông phải phong cho con Cối là Tần Hi làm tể tướng, Triệu Viện biết chuyện, tố cáo Cao Tông khiến âm mưu của họ không thành.